Lời giải:
$y'=3x^2-6mx+3(m^2-1)=0$

$\Leftrightarrow x^2-2mx+m^2-1=0$

$\Leftrightarrow x=m+1$ hoặc $x=m-1$

Với $x=m+1$ thì $y=-2m-2$. Ta có điểm cực trị $(m+1, -2m-2)$

Với $x=m-1$ thì $y=2-2m$. Ta có điểm cực trị $m-1, 2-2m$

$f''(m+1)=6>0$ nên $A(m+1, -2m-2)$ là điểm cực tiểu

$f''(m-1)=-6< 0$ nên $B(m-1,2-2m)$ là điểm cực đại 

$BO=\sqrt{2}AO$

$\Leftrightarrow BO^2=2AO^2$

$\Leftrightarrow (m-1)^2+(2-2m)^2=2(m+1)^2+2(-2m-2)^2$

$\Leftrightarrow m=-3\pm 2\sqrt{2}$

1.

\(y'=4x^3-4\left(m+1\right)x\)

\(y''=12x-4\left(m+1\right)\)

Hàm đạt cực đại tại x=1 khi: \(\left\{{}\begin{matrix}y'\left(1\right)=0\\y''\left(1\right)< 0\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}4-4\left(m+1\right)=0\\12-4\left(m+1\right)< 0\end{matrix}\right.\) \(\Leftrightarrow\left\{{}\begin{matrix}m=0\\m>2\end{matrix}\right.\) 

Không tồn tại m thỏa mãn

2.

\(y'=4x^3-2\left(m+1\right)x\)

\(y''=12x^2-2\left(m+1\right)\)

Hàm đạt cực tiểu tại x=-1 khi:

\(\left\{{}\begin{matrix}y'\left(-1\right)=0\\y''\left(-1\right)>0\end{matrix}\right.\) \(\Leftrightarrow\left\{{}\begin{matrix}-4+2\left(m+1\right)=0\\12-2\left(m+1\right)>0\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}m=1\\m< 5\end{matrix}\right.\) \(\Rightarrow m=1\)

Ta có : \(y'=3x^2-6mx+3\left(m^2-1\right)\)

Để hàm số có cực trị thì phương trình \(y'=0\) có 2 nghiệm phân biệt

                                                             \(\Leftrightarrow x^2-2mx+m^2-1=0\) có 2 nghiệm phân biệt

                                                             \(\Leftrightarrow\Delta=1>0\) với mọi m

Cực đại của đồ thị hàm số là A(m-1;2-2m) và cực tiểu của đồ thị hàm số là B (m+1; -2-2m)

Theo giả thiết ta có :

                         \(OA=\sqrt{2}OB\Leftrightarrow m^2+6m+1\Leftrightarrow\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)

Vậy có 2 giá trị m là \(\begin{cases}m=-3+2\sqrt{2}\\m=-3-2\sqrt{2}\end{cases}\)

a) Ta có : \(y'=3x^2+2\left(m-1\right)x+m\left(m-3\right)\)

Hàm số (1) có cực đại và cực tiểu nằm 2 phía đối với trục tung <=> phương trình : \(3x^2+2\left(m-1\right)x+m\left(m-3\right)=0\) có 2 nghiệm phân biệt trái dấu

\(\Leftrightarrow P< 0\Leftrightarrow m\left(m-3\right)< 0\Leftrightarrow0< m< 3\)

Vậy \(0< m< 3\) là giá trị cần tìm

b) Khi m = 1 ta có : \(y=x^3-2x\). 

Gọi \(M\left(a;a^3-2a\right)\in\left(C\right),a\ne0\)

Ta có \(y'=3x^2-2\) nên hệ số góc của \(\Delta\) là \(y'\left(a\right)=3a^2-2\)

Ta có \(\overrightarrow{OM}\left(a;a^3-2a\right)\) nên hệ số góc đường thẳng OM là \(k=a^2-2\)

Do đó : \(\Delta\perp OM\Leftrightarrow y'_a.k=-1\)

                           \(\Leftrightarrow\left(3a^2-2\right)\left(a^2-2\right)=-1\Leftrightarrow3a^4-8a^2+5=0\)

                \(M_1\left(1;-1\right);M_1\left(-1;1\right);M_3\left(-\frac{\sqrt{15}}{3};\frac{\sqrt{15}}{9}\right);M_4\left(\frac{\sqrt{15}}{3};-\frac{\sqrt{15}}{9}\right)\)          \(\Leftrightarrow\left[\begin{array}{nghiempt}a^2=1\\a^2=\frac{5}{3}\end{array}\right.\)  \(\Leftrightarrow\left[\begin{array}{nghiempt}a=\pm1\\a=\pm\frac{\sqrt{5}}{3}\end{array}\right.\)(Thỏa mãn)

Suy ra có 4 điểm thỏa mãn đề bài :\(M_1\left(1;-1\right);M_2\left(-1;1\right);M_3\left(-\frac{\sqrt{15}}{3};\frac{\sqrt{15}}{9}\right);M_4\left(\frac{\sqrt{15}}{3};-\frac{\sqrt{15}}{9}\right)\)